Context-Aware RL for Agentic and Multimodal LLMs
上下文感知RL：用辅助选择损失增强长序列与多模态证据接地
🧭 上下文感知强化学习 · 多模态与Agent ★ 深度解读
Princeton University · UC Davis
在 GRPO 中增加对比上下文选择辅助损失，显著提升 Agent 与多模态 LLM 的证据接地能力
📌 工作参考价值（4 点）
- 辅助上下文选择损失：在现有 RL（如 GRPO）训练中，同时训练一条「给定 query-answer，从一对相似但结论相反的上下文中选出支持该答案的正确上下文」的辅助任务，可作为轻量插件提升模型对关键证据的敏感度。
- 构造对比上下文对的工程方法：Agent 场景用轨迹过滤（同仓库、同文件、同函数、不同 issue + 答案掩码）构造 1k 高质量对，多模态用生成编辑+相似检索构造 7k 对，避免人工标注。业务中可类似挖掘正负用户行为序列、对比商品图文等。
- 避免将对比数据简单用于 SFT 或混入 RL 奖励：实验表明，用对比数据做 SFT 会严重破坏长序列策略（编码 Agent 任务 resolve rate 从 28% 跌至 1.3%），单纯作为二元奖励加入 RL 几乎无效；只有设计为辅助 logit 级损失并配合 GRPO 的 clip/KL 约束，才能稳定获益。
- 长序列推荐/Agent 的场景直接复用：在用户长行为序列、商品描述、多模态推荐中，可通过构造「仅关键一步不同」的正负上下文对，用相同辅助损失强化模型抓取关键信息，提升长程一致性和抗噪声能力。